MALT: Lightweight Curvature-Aware Muon via Diagonal Preconditioning
MALT：通过对角线预处理实现轻量级曲率感知的Muon优化器
🧭 Muon优化器的曲率感知对角线预处理 ★ 深度解读
The Pennsylvania State University · City University of Hong Kong
在Muon正交化前加入行/列对角预处理，以极小开销缓解曲率各向异性，配合噪声自适应步长显著提升LLM预训练性能
📌 工作参考价值（4 点）
- 在推荐模型的矩阵参数（如Embedding、MLP权重）上可直接替换Muon为MALT，在不增加显存和时间的前提下获得更优收敛，尤其适合需要降低训练成本的工业场景。
- 噪声自适应步长MALTER可稳定分布式推荐训练中常见的梯度噪声，避免手动调参，提升训练鲁棒性。
- 对角线预处理与正交化结合的思想可迁移到其他矩阵感知优化器（如Shampoo变体），为结构化参数提供轻量曲率适应。
- 对于曲率各向异性明显的Transformer层（如FFN或Attention投影），建议优先使用MALT，在保持Muon原有优势的同时进一步加速收敛。